Năm 1949, Mao Trạch Đông tuyên bố "để chống bọn đế quốc xâm lược, ta cần có một hải quân hùng mạnh". Một năm sau, vào tháng 3 năm 1950, trường Sĩ quan Hải quân được thành lập tại Đại Liên với đa số huấn luyện viên là người Nga. Tháng 9 cùng năm, Hải quân Giải phóng quân Nhân dân Trung Quốc chính thức thành lập, quân số khởi đầu chọn từ các lực lượng hải quân địa phương trực thuộc Bộ Tổng Tham mưu tại Khương Yển (nay đặt tại Thái Châu, thuộc tỉnh Giang Tô). Lực lượng này thoạt đầu chỉ là một nhóm chiến hạm ô hợp tịch thu của Trung Quốc Quốc Dân đảng, và hai năm sau tăng cường thêm lực lượng không chiến. Giống như tổ chức quân đội chung, các chính ủy đều được đưa vào mỗi chiến hạm để nắm chắc các hạm trưởng.

Đến năm 1954, số cố vấn hải quân Liên Xô tăng lên đến 2.500 người – tỉ lệ một cố vấn Liên Xô cho 30 quân nhân hải quân Trung Quốc – và Liên Xô bắt đầu viện trợ các loại chiến hạm tối tân hơn. Với viện trợ của Liên Xô, năm 1954-1955, Hải quân Trung Quốc tổ chức lại thành ba hạm đội. Các chức vụ và cấp bậc sĩ quan hải quân cũng được thành lập từ đội ngũ sĩ quan lục quân. Ban đầu, việc chế tạo các chiến hạm nhờ vào sự giúp đỡ của Liên Xô, nhưng về sau, Trung Quốc tiến dần từ việc bắt chước chế tạo theo mẫu thiết kế các chiến hạm Liên Xô, đến có thể tự thiết kế và chế tạo chiến hạm các loại. Từng có một thời, quan hệ hai bên mật thiết đến độ có cả bàn tính dự định tổ chức một hạm đội chung cho cả hai lực lượng hải quân Xô-Trung.

Tuy cũng trải qua những biến động chính trị của thập niên 1950 và 1960, Hải quân Trung Quốc không bị ảnh hưởng nặng nề như Lục quân hoặc Không quân. Dưới thời lãnh đạo của Bộ trưởng Quốc phòng Lâm Bưu, Hải quân vẫn được đầu tư khá nhiều trong những năm nghèo đói sau Đại nhảy vọt. Trong Cách mạng Văn hóa, tuy một số chính ủy, tư lệnh đầu não bị truất quyền, và một số lực lượng hải quân được sử dụng để đàn áp cuộc bạo loạn tại Vũ Hán tháng 7 năm 1967, nhưng nói chung Hải quân Trung Quốc ít bị dính líu vào các biến động đang xảy ra trên toàn quốc vào thời điểm đó. Hải quân Trung Quốc vẫn tiếp tục công việc đóng thêm chiến hạm, huấn luyện thủy thủ và tu bổ các hạm đội.

Đến thập niên 1970, khi ngân sách quốc phòng dành cho hải quân lên đến 20% ngân sách quốc gia, thì Hải quân Trung Quốc phát triển vượt bực. Lực lượng tàu ngầm thông thường tăng vọt từ 35 đến 100 chiếc, các phóng pháo hạm có khả năng bắn tên lửa tăng từ 20 lên đến 200 chiếc, và các chiến hạm loại lớn và các chiến hạm yểm trợ loại tuần dương cũng được chế tạo thêm. Hải quân Trung Quốc cũng đóng thêm tàu ngầm loại xung kích và loại chiến lược phóng tên lửa với máy chính chạy bằng năng lượng hạt nhân. Các tàu ngầm loại này đều có tầm hoạt động rất xa.

Đến thập niên 1980, dưới thời Tư lệnh Lưu Hoa Thanh, Hải quân Trung Quốc trở thành một lực lượng hải quân đáng kể trong khu vực, có khả năng tuần tiễu khá xa lãnh hải. Tuy nhiên, mức độ phát triển có phần chậm hơn thập niên trước đó. Các nỗ lực hiện đại hóa chú trọng nhiều hơn vào trình độ kỹ thuật và học vấn của thủy thủ. Đồng thời, sách lược hành quân biên phòng và cơ cấu lực lượng được chỉnh đốn và đặt trọng tâm vào các hoạt động tuần dương (blue-water operations) hơn tuần duyên (coastal defense), ngoài ra Hải quân Trung Quốc còn đẩy mạnh các chương trình huấn luyện hành quân hỗn hợp giữa các lực lượng tàu ngầm, chiến hạm, hải quân không chiến, và các lực lượng duyên phòng. Bằng chứng cho khả năng hoạt động tầm xa của Hải quân Trung Quốc đã tăng trưởng: (a) cuộc trục vớt một tên lửa liên lục địa (ICBM) năm 1980 do một hạm đội gồm 20 chiến hạm hành quân đến Tây Thái Bình Dương, (b) một số hành quân hải hành dài ngày trên biển Đông (Nam Hải) năm 1984 và 1985, (c) hai chiến hạm Trung Quốc thăm giao hữu ba nước thuộc vùng Ấn Độ Dương năm 1985. Ngoài việc đẩy mạnh phát triển tầm hoạt động, Hải quân Trung Quốc cũng phát triển thêm về khả năng phóng tên lửa từ các chiến hạm và tàu ngầm. Năm 1982 Hải quân Trung Quốc bắn thử thành công một phi đạn bắn từ tàu ngầm. Hải quân Trung Quốc cũng chế tạo thành công một số tên lửa loại hạm-đối-hạm, hạm-đối-đất, đất-đối-hạm, và không-đối-hạm.